# autor: Fabiano A. Lima
# esse arquivo contém o código usado para obter os dados dos sites dos veículos
# usados no estudo. Como esses sites podem sofrer alteração, reocmenda-se que, para fins de 
# reprodutibilidade, se use os arquivos salvos quando da elaboração dos estudo. 


library(tidyverse)
library(lubridate)
library(stargazer)
library(kableExtra)
source("pesquisador.r", encoding = "utf8")
source("gera_tabela.r", encoding = "utf8")

folha <- folha() 
o_globo <- o_globo()




data_inicio <- "29/07/2012"
data_fim <- "15/03/2014"
criterios <- c("Operação", "Operação e Magistrado", "Magistrado", "Magistrado sem Operação")

# Monta tabela básica somente com sumário das buscas (resultados totais)

valores_folha_jb <- c(
  folha$busca_texto("todos:mensalao", data_inicio, data_fim, TRUE, TRUE)$total,
  folha$busca_texto("todos:mensalao ministro joaquim barbosa", data_inicio, data_fim, TRUE, TRUE)$total,
  folha$busca_texto("todos:ministro joaquim barbosa", data_inicio, data_fim, TRUE, TRUE)$total,
  folha$busca_texto("todos:ministro joaquim barbosa, nenhum: mensalao", data_inicio, data_fim, TRUE, TRUE)$total
)

valores_globo_jb <- c(
  o_globo$busca_texto("", "mensalao", "", "", data_inicio, data_fim,  T, T)$total,
  o_globo$busca_texto("", "mensalao ministro joaquim barbosa", "", "", data_inicio, data_fim, T, T)$total,
  o_globo$busca_texto("", "ministro joaquim barbosa", "", "", data_inicio, data_fim, T, T)$total,
  o_globo$busca_texto("", "ministro joaquim barbosa", "", "mensalao", data_inicio, data_fim, T, T)$total
)

# Consolida resultados em dataframe único para salvar em arquivo
tbl_citacoes_jb <- tibble(
  "Critério" = criterios,
  "Folha" = valores_folha_jb,
  "O Globo" = valores_globo_jb
)

saveRDS(tbl_citacoes_jb, "./data/citacoes_jb_mensalao.rds")
write.csv(tbl_citacoes_jb, "./data/citacoes_jb_mensalao.csv")

# Monta tabela básica somente com sumário das buscas (resultados totais)

valores_folha_rl = c(
  folha$busca_texto("todos:mensalao", data_inicio, data_fim, 1, TRUE, TRUE)$total,
  folha$busca_texto("todos:mensalao ministro ricardo lewandowski", data_inicio, data_fim, 1, TRUE, TRUE)$total,
  folha$busca_texto("todos:ministro ricardo lewandowski", data_inicio, data_fim, 1, TRUE, TRUE)$total,
  folha$busca_texto("todos:ministro ricardo lewandowski, nenhum: mensalao", data_inicio, data_fim, 1, TRUE, TRUE)$total
)

valores_globo_rl = c(
  o_globo$busca_texto("", "mensalao", "", "", data_inicio, data_fim, T, T)$total,
  o_globo$busca_texto("", "mensalao ministro ricardo lewandowski", "", "", data_inicio, data_fim, T, T)$total,
  o_globo$busca_texto("", "ministro ricardo lewandowski", "", "", data_inicio, data_fim, T, T)$total,
  o_globo$busca_texto("", "ministro ricardo lewandowski", "", "mensalao", data_inicio, data_fim, T, T)$total
)

# Consolida resultados em dataframe único para salvar em arquivo

tbl_citacoes_rl <- tibble(
  "Critério" = c("Operação", "Operação e Magistrado", "Magistrado", "Magistrado sem Operação"),
  "Folha" = valores_folha_rl,
  "O Globo" = valores_globo_rl
)

saveRDS(tbl_citacoes_rl, "./data/citacoes_rl_mensalao.rds")
write.csv(tbl_citacoes_rl, "./data/citacoes_rl_mensalao.csv")

# Busca dados detalhados de Folha e O Globo e gera arquivos

jb_sem_mensalao_folha <- folha$busca_texto("todos:ministro joaquim barbosa, nenhum: mensalao", data_inicio, data_fim)
saveRDS(jb_sem_mensalao_folha$resultados, "./data/jb_sem_mensalao_folha.rds")
write_lines(readRDS("./data/jb_sem_mensalao_folha.rds"), "./data/jb_sem_mensalao_folha.txt")


jb_sem_mensalao_globo <- o_globo$busca_texto("", "ministro joaquim barbosa", "", "mensalao", data_inicio, data_fim)
saveRDS(jb_sem_mensalao_globo$resultados, "./data/jb_sem_mensalao_globo.rds")
write_lines(readRDS("./data/jb_sem_mensalao_globo.rds"), "./data/jb_sem_mensalao_globo.txt")

rl_sem_mensalao_folha <- folha$busca_texto("todos:ministro ricardo lewandowski, nenhum: mensalao", data_inicio, data_fim)
saveRDS(rl_sem_mensalao_folha$resultados, "./data/rl_sem_mensalao_folha.rds")
write_lines(readRDS("./data/rl_sem_mensalao_folha.rds"), "./data/rl_sem_mensalao_folha.txt")

rl_sem_mensalao_globo <- o_globo$busca_texto("", "ministro ricardo lewandowski", "", "mensalao", data_inicio, data_fim)
saveRDS(rl_sem_mensalao_globo$resultados, "./data/rl_sem_mensalao_globo.rds")
write_lines(readRDS("./data/rl_sem_mensalao_globo.rds"), "./data/rl_sem_mensalao_globo.txt")







